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Как проверить эффективность наших 
тестов? 


Ра{й и Бгапсй соуегаве 


Асйоп 1 Аспоп 2 


Ей!$П 


Асйоп 3 


Ра{й и Бгапсй соуегаве 


уепдог/Ьт/рйрипй --ра-соуегаде 


+ позволяет оценить все пути выполнения функции 


время выполнения (один прогон занимал бы больше 24 часов) 


7 РНРРизза 
2022 


Ра{И и Бгапсй соуегаве. Почему нет? 


. Выполняется ОЧЕНЬ долго (подтверждено авторами), даже 
только на изменённых файлах в РК. 
. ХОТИМ автоматически запускать тесты до закрытия РК. Запуск по 


команде в РК или отдельно от РК не рассматриваем. 


Мутационное тестирование 


руб11с Типс&топ ВазЕггог$(): Боо1 


{ 


- гефигп соип* ($411$->еггог$) > 0; 
+ гефтигп соип* ($%01$->еггог$) >= 0; 
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Мутационное тестирование 


Пыхарь, используешь ли ты мутационное тестирование? 
Апопутоиз Рой 


55% Что? 
39% Слышал про такое, не пробовал. 


3% Использую только в рё-проектах. 


2% Пробовали на работе, не удалось внедрить. Сейчас в 


комментариях расскажу, почему. 


2% Успешно используем в рабочем проекте. 


2108 уще$ 


ф17 


®@Э 33 Соттегз ® 


птесНоп — МщаНоп Тез пт Тгатем/огк 


е ИЦр5://=НАиЬ.сот/тесНоп/шесНоп 
. Мак5 КатаКо — МщаНоп Тезипя ш РНР 


‚ Владимир Янц (Ва4доо) — Мутационное тестирование в РНР 
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Кому может быть полезно мутационное 
тестирование? 


е Нет тестов, но хочется начать их писать 
е Много сложной логики или расчётов 
е Часть приложения связана с деньгами 


е Много тестов и высокий сое соуегаве 
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Примеры внедрения штесйоп в компании 


Успешно удалось внедрить в: 


небольшой сервис с Соде Соуегаве 85% и 800+ тестов (шТесЧоп 
был добавлен за 1.5 дня) 
Не удалось внедрить в: 


проект с 1М+ строк кода 


проект средних размеров (250К строк кода) 
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Внедрение штесйоп 
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Запуск мутационных тестов на весь код 


Запуск мутационных тестов только на 
изменённых файлах 


® птесНоп --2(-аТ-НКег=АМ 
» пТесНоп --в(-ЧН-те$ 


» птесНоп --НКег=Майег.рИр,Еоораг.рИр 
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Выбор характеристики в качестве барьера 
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Миааноп $соге пгсатог (М5) 


Тоае!еа{еЯМиапт{5 = КНедСоипЕ + ТитедОи{СоипЕ + ЕггогСоии 


МЗ! = (ТоаРе{еа*едМщат$ / То{аМщат5Соип®) * 100 
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Соуегеа Соаде МУ 


Тофа!Сомеге4ВуТе{5Митат5 = ТофаМиат$Соип" - 
Мо{СоуегедВуТе{5Соиге 


Соуеге4СоЧем\“! = (Тофа!бееае9яМщап{$ / 
Тофа|!Соуеге4ВуТе{5Микапт$) * 100 
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Внедрение штесйоп. Сообщение об 
успешной сборке 


ЛепКИ$ АРР 3 дауз аёо 
бои: БийА 1.3.0-24157 {е${е4 зиссез$ Ру! 
Габе$Е соттй: 195773 
ЛюБ: зои$ут/с1-зо$пх(-Бийа 
длепКт$ поае: 463.да.р!е$К.ги гипптё оп 10.54.0.15 
РНР 
Соуег: 
С!а55ес: 67.76% (643/949) 
Ме{ос$: 83.35% (2918/3501) 
Ипез: 89.44% (14547/16265) 


Мщабоп {е$Ипв (102): 
МФ: 72.68% 


М\Щабоп Соае Соуегаее: 90.55% 
Соуеге4 Соде М$1: 80.26% 


5 соуег: 
З{айетегес: 82.98% (9907/11939) 
ВгапсВез: 72.31% (3126/4323) 
РГипсбоп5: 78.35% (3178/4056) 
19 Ипез: 84.76% (8916/10519) 


Внедрение штесИоп. Сообщение в РК 


56 57 рус Фипсеоп де\е1пд(Сотрихевезоугсе\т $\ут): \019 

57 58 { 

58 - Узаде: :соЛес* (ИзадевезоцгсебТО: : ФогИр1те($ут)); 

59 - Озаде: : соЛес* (ИзадевезоигсебТО: :РогВаскКир($\т)); 
59 + ИзадеСоПЛесфог5егутсе: :соЦес+(ИзадевезоигсебТО: : Фог/р1ме($ут)); 
60 + УзадеСоТесфог5егутсе: :соЦес+(ИзадеВезоигсе0ТО: :КогВаскир($\т)); 


[3 СИЕВОЕ 1 мееК адо <? 


по5Е пбегезИ па езсареф мекводСа\\Ветома\ пиКапЕ: 


+++ Мем 


00 00 


руБс ФипсеТоп де\е{1пд(Сотрихекезоцгсе\т $ут) : \019 


{ 
УзадеСоЛесфог$егутсе : :со\Лес*(ИзадеВезоигсебТО: : Ког/р&1ме($\т)); 


- УзадеСоДесфог$егутсе: :соес*(ИзадеВезоцгсе0ТО: : КогВасКир($\пт)); 


$\т->а9911опа\Тр5()->еасВ(з+а1с Фипс&Лоп (Тр $1р) : \019 { 
УзадеСоЛесфог$егутсе: :соЦес*(ИзадеВезоцгсе0ТО: : ГогАЗ9141опа\Тр($1р)); 


№): 


Веру © 


20 


Внедрение штесИоп. Сообщение в РК 
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© СЕ ВоЕ 3 дау$ адо © МЕМ 


|пГесНоп $Ка(5: 


Тофа{\1 митап{$: 702 

КЦ Тед: 683 

№1 Соуегед: 5 

Езсаред: 14 

Т1те оц{фед: 09 

Еггогед: ©9 

МЪТ: 97.29% 

Муфаефоп Соде Соуегаде: 99.29% 
Соуегед Соде М$Т: 97.99% 
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Минусы штесНоп 
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Невозможность запускать на весь проект 


Минусы птесНоп. Бесполезные мутации 


рус фас Гипс оп 1псгетепеНоуг$ (УзадевезоигседТО $и5адевезоигседТО, 1пе $Ноуг$): \019 


руБ\с зфас Гипс оп гесоЛес{(УзадеВезоигседТО $изадевезоигседТО): мо19 


© СЕВоЕ 15 ип 2022 ® 


по$Ё 1п(егезИпд езсареЧ РуБАс\АЗАЬААху плибапЕ 


+++ М№м 
66 @6 
$и5едНоуг$ = $е1{: : дето\РЕТпНоуг$($пом, $изаде->$фаг%ед_а*); 
$и5аде->ирда{е( [ '+оКепз' => $изадевезоигсе)ТО->+оКепзРегНоиг * $изедНоиг$, 'ачап\ у’ => 
$изедНоуг$]); 
} 


- рус фас Гипс\оп гесоЛес{(У5адевкезоигсед)ТО $и5адевкезоигседТ0) : мо19 


+ ргофесфед фас Гипс\оп гесоЛес*{(У5адекезоигсед)ТО $и5адекезоигседТО) : \мо\9 


{ 
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Минусы штесИоп. 
Эквивалентные мутаторы 


1 (!5узадевезоигседТоО->$Воу19Со\Лес{ && $изаде->$фаг{ед_а* && !$и5аде->епдед_а*) { 


| СЕВоЕ 15 ип 2022 ® 


гппо$Ё пкегеИпад езсареЧ послса\Ала глибапЕ: 


+++ № 
@@ @@ 
гефигп; 
} 
// $&ор соЛес®пд учзаде 
- 1Г (!5ч5адевезоиугседТО->$Ноч1\9Со\ЛесЕ && $изаде->5{аг{ед_а{ && !$и5аде->епдед_а*) { 
+ 1Г (!5ч5адевезоугседТО->$Роу1\9Со\ТЛесЕ && $изаде->${аг{ед_а* || !$иу5аде->епдед_а{) { 


5е\{: : Елпа$РУзадесо\Лес{Апд($изаде); 


гефугп; 
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Результаты внедрения 


е Мутационные тесты, выполняются на каждое изменение РНР- 
кода 

е На +3 минуты в среднем увеличилось время прохождения 
сборок, что для нас не критично 

е Добавлен подсчёт М$| на каждом РВ: барьер 85% 


е Отправляются сообщения в РК о выживших мутантах 
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Резул ьтаты использования 


е Не нужно много внимания уделять тестам во время соде гемем/ 
» Весь новый код покрывается тестами 


эе Места со сложной логикой или расчётами протестированы 


лучше 
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Результаты использования 
» Во время рефакторинга легко найти плохо протестированные 


места 


е Некоторые участки кода написаны лучше благодаря птесйоп 
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Сколько дал нам |птесйоп в деньгах? 


Планы на будущее 
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Использовать свои кастомные мутаторы 


РВ в штесИоп 
эиррой сиоют тщаог$ #1686 


‚о 10 53414 ммагиз 10 тегде 1 соттй МЮ 1пРесе1оп:тазеег МОТ м5$414:Реатиге/зиррог"-сизтот-титатогз (С) 


(7) Сопмегзайоп з <> Соттй$ 1 Е} Спеск$ 10 ЕИе$ спапдед 23 
о 
я < №$$414 соттещед оп Арг 29 ©... 


\есйоп зирроп$ опу а $е{ о! Мшагог$ м/тсп аге разед оп АЗТ апа РНР-Рагег рго]ес{. п исп зйиайоп Пюгагу изег$ сап“ 
и5е {пе омт тщагог$ (сп тау Бе изейи т пе! рго]ес{$ Би доезп“ ЯЦо Бе а рай ое 1Югагу). 

Тр РК а94$ {Пе ау 10 изе сизот тщаюг$ м рго]ес{$ {паг изе пе итесйоп Пбгагу. 

СиЗот тщатог$ зпошШа итр!етепЕ тпРесе1оп\Митатог\Мисатог И\ЩеПасе. 


То изе сизют тшщагог$, изег ти${ ада пет {о ше тщагог 151 т пе итесйоп сопйд. Узег па$ {о изе пе с!а5$ пате ми те 
патезрасе о! {Пе сиз{от тшагог а$ а пате о! тщагог п Пе сопйд. Ап ехатре ог изпд а сизют тшщаюг т пе тесйоп 


сопйд: 
ро РНРРозза 
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Добавить мутационное тестирование 
для Лама си! рт (${гуКег) 


ИА ТНЕ МОТАМТ$ 
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Итого 


5 РНР Виза 
2022 


35 


Внедрить несложно, если уже есть тесты 


36 


Может выполняться быстро 
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Показывает эффективность инвестиции в 
тестирование и качество самого кода 


Ма ^__^ Голосуйте за /Г 
" Внедрить несложно;если ужелесть и Е 
| г. мой доклад! 
' Может выполняться быстро - 
. | \ Показывает эффективность 
| ‘инвестиций в тестирование и/качёство 


И 
\самого кода _ 


и Ислае Вожов 
(@5\о2Ноу 


И | 
И | | 


_ РНР Вова 


5) \ ‚ 2022 


